import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import plotly.express as px

#ваш код здесь
hh = pd.read_csv("D:/IDE/SF - Assign/hh.csv", sep= ";")
print(hh.shape)

(44744, 12)

#ваш код здесь
display(hh.head(10))

#ваш код здесь
display(hh.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 44744 entries, 0 to 44743
Data columns (total 12 columns):
 #   Column                           Non-Null Count  Dtype 
---  ------                           --------------  ----- 
 0   Пол, возраст                     44744 non-null  object
 1   ЗП                               44744 non-null  object
 2   Ищет работу на должность:        44744 non-null  object
 3   Город, переезд, командировки     44744 non-null  object
 4   Занятость                        44744 non-null  object
 5   График                           44744 non-null  object
 6   Опыт работы                      44576 non-null  object
 7   Последнее/нынешнее место работы  44743 non-null  object
 8   Последняя/нынешняя должность     44742 non-null  object
 9   Образование и ВУЗ                44744 non-null  object
 10  Обновление резюме                44744 non-null  object
 11  Авто                             44744 non-null  object
dtypes: object(12)
memory usage: 4.1+ MB

None

#ваш код здесь
display(hh.describe())

#ваш код здесь
def edu_lvl(edu_str):
    if 'высшее' in edu_str.lower():
        if 'неоконченное' in edu_str.lower():
            return 'неоконченное высшее'
        else:
            return 'высшее'
    elif 'среднее специальное' in edu_str.lower():
        return 'среднее специальное'
    elif 'среднее образование' in edu_str.lower():
        return 'среднее'
# Применяем написанную функцию на создаваемый столбец
hh['Образование'] = hh['Образование и ВУЗ'].apply(lambda x: edu_lvl(x))
hh.drop('Образование и ВУЗ', axis = 1, inplace = True)
print(hh["Образование"].unique())

['неоконченное высшее' 'высшее' 'среднее специальное' 'среднее']

#ваш код здесь
def gen_age(info):
    parts = info.split(' , ') 
    gender = 'М' if 'Мужчина' in parts[0] else 'Ж' 
    age = int(parts[1].split()[0])  
    return pd.Series([gender, age])  
# Применяем функцию на создаваемые столбцы
hh[['Пол', 'Возраст']] = hh['Пол, возраст'].apply(gen_age)
hh.drop(columns=['Пол, возраст'], axis = 1, inplace=True)
display(hh[['Пол', 'Возраст']])

#ваш код здесь
def get_experience(arg):
    if arg is np.nan or arg == 'Не указано':
        return None
    year_words=['год', 'года', 'лет']
    month_words=['месяц', 'месяца', 'месяцев']
    arg_splitted = arg.split(' ')[:7]
    years = 0
    months = 0
    for index, item in enumerate (arg_splitted):
        if item in year_words:
            years = int(arg_splitted[index-1])
        if item in month_words:
            months = int(arg_splitted[index-1])
    return int(years*12 + months)
hh['Опыт работы (месяц)'] = hh['Опыт работы'].apply(get_experience)
display(hh['Опыт работы (месяц)'])

0        202.0
1        233.0
2        123.0
3        225.0
4         67.0
         ...  
44739     91.0
44740     84.0
44741    257.0
44742     46.0
44743    190.0
Name: Опыт работы (месяц), Length: 44744, dtype: float64

#ваш код здесь
def get_city(arg):
# Города-миллионники
    million_cities = ['Новосибирск', 'Екатеринбург', 'Нижний Новгород', 'Казань', 'Челябинск', 'Омск', 
                  'Самара', 'Ростов-на-Дону', 'Уфа', 'Красноярск', 'Пермь', 'Воронеж', 'Волгоград']
    city = arg.split(' , ')[0]
    if (city == 'Москва') or (city == 'Санкт-Петербург'):
        return city
    elif city in million_cities:
        return 'город миллионник'
    else:
        return 'другие'
def get_ready_to_move(arg):
    if ('не готов к переезду' in arg) or ('не готова к переезду' in arg):
        return False
    elif 'хочу' in arg:
        return True
    else:
        return True
def get_ready_for_bisiness_trips(arg):
    if ('командировка' in arg):
        if ('не готов к командировкам' in arg) or('не готова к командировкам' in arg):
            return False
        else: 
            
            return True
    else:
        return False
    
hh['Город'] = hh['Город, переезд, командировки'].apply(get_city)
hh['Готовность к переезду'] = hh['Город, переезд, командировки'].apply(get_ready_to_move)
hh['Готовность к командировкам'] = hh['Город, переезд, командировки'].apply(get_ready_for_bisiness_trips)
hh = hh.drop('Город, переезд, командировки', axis=1)
display(hh[['Город', 'Готовность к переезду', 'Готовность к командировкам']])

#ваш код здесь
employments = ['полная занятость', 'частичная занятость',
              'проектная работа', 'волонтерство', 'стажировка']
charts = ['полный день', 'сменный график', 
         'гибкий график', 'удаленная работа',
         'вахтовый метод']
for employment, chart in zip(employments, charts):
    hh[employment] = hh['Занятость'].apply(lambda x: employment in x)
    hh[chart] = hh['График'].apply(lambda x: chart in x)
hh = hh.drop('Занятость', axis=1)
hh = hh.drop('График', axis=1)

#ваш код здесь
cur = pd.read_csv("D:/IDE/SF - Assign/ExchangeRates.csv", sep= ",")
def get_salary_num(arg):
    salary = float(arg.split(' ')[0])
    return salary
def get_salary_currency(arg):
    currency_dict = {
        'USD': 'USD', 'KZT': 'KZT',
        'грн': 'UAH', 'белруб': 'BYN',
        'EUR': 'EUR', 'KGS': 'KGS',
        'сум': 'UZS', 'AZN': 'AZN'
    }
    curr = arg.split(' ')[1].replace('.', '')
    if curr == 'руб':
        return 'RUB'
    else:
        return currency_dict[curr]
cur['date'] = pd.to_datetime(cur['date'], dayfirst=True).dt.date
hh['Обновление резюме'] = pd.to_datetime(hh['Обновление резюме'], dayfirst=True).dt.date
hh['ЗП (tmp)'] = hh['ЗП'].apply(get_salary_num)
hh['Курс (tmp)'] = hh['ЗП'].apply(get_salary_currency)
merged = hh.merge(
    cur, 
    left_on=['Курс (tmp)', 'Обновление резюме'],
    right_on=['currency', 'date',], 
    how='left'
)
merged['close'] = merged['close'].fillna(1)
merged['proportion'] = merged['proportion'].fillna(1)
hh['ЗП (руб)'] = merged['close'] * merged['ЗП (tmp)'] / merged['proportion']
hh = hh.drop(['ЗП', 'ЗП (tmp)', 'Курс (tmp)'], axis=1)

C:\Users\user\AppData\Local\Temp\ipykernel_3692\1009455752.py:18: UserWarning: Could not infer format, so each element will be parsed individually, falling back to `dateutil`. To ensure parsing is consistent and as-expected, please specify a format.
  cur['date'] = pd.to_datetime(cur['date'], dayfirst=True).dt.date

# ваш код здесь
fig = px.histogram(hh, x='Возраст', title='Распределение возраста соискателей',  marginal='box')
fig.update_layout(xaxis_title='Возраст', yaxis_title='Частота')
fig.show()

# ваш код здесь
fig = px.histogram(hh, x='Опыт работы (месяц)', title='Распределение опыта работы',  marginal='box')
fig.update_layout(xaxis_title='Опыт работы', yaxis_title='Частота')
fig.show()

# ваш код здесь
fig = px.histogram(hh, x='ЗП (руб)', title='Распределение зарплаты',  marginal='box')
fig.update_layout(xaxis_title='Зарплата', yaxis_title='Частота')
fig.show()

# ваш код здесь
bar_data = hh[hh['ЗП (руб)']<1e6].groupby('Образование', as_index=False).agg({'ЗП (руб)': 'median'})
fig = px.bar(
    data_frame=bar_data,
    x='Образование',
    y='ЗП (руб)',
    title='Медианная з/п по уровню образования'
    )
fig.show()

# ваш код здесь
box_data = hh[hh['ЗП (руб)']<1e6]
fig = px.box(
    data_frame=box_data,
    x='Город',
    y='ЗП (руб)',
    color='Город',
    title='Распределение з/п по городам'
)
fig.show()

# ваш код здесь
bar_data = hh.groupby(
    ['Готовность к командировкам', 'Готовность к переезду'],
    as_index=False
)['ЗП (руб)'].median()
fig = px.bar(
    data_frame=bar_data,
    y='Готовность к переезду',
    x='ЗП (руб)',
    barmode="group",
    color='Готовность к командировкам',
    orientation='h',
    title='Медианная з/п по готовности к командировкам/переезду'
)
fig.show()

# ваш код здесь
pivot = hh.pivot_table(
    index='Образование',
    columns='Возраст',
    values='ЗП (руб)',
    aggfunc='median',
    fill_value=0
)
fig = px.imshow(
    pivot,
    aspect='auto',
    color_continuous_scale='greens',
    title='Медианная з/п по образованию и возрасту'
)
fig.show()

# ваш код здесь
hh['Опыт работы (годы)'] = hh['Опыт работы (месяц)'] / 12
fig = px.scatter(hh, x='Возраст', y='Опыт работы (годы)', 
                 title="Зависимость опыта работы от возраста",
                 labels={'Опыт работы (годы)': 'Опыт работы (годы)', 'Возраст': 'Возраст'})
fig.add_shape(
    type="line", 
    x0=0, y0=0, 
    x1=100, y1=100,
    line=dict(color="Red", width=2, dash="dash")
)
fig.update_xaxes(range=[0, 100], title="Возраст")
fig.update_yaxes(range=[0, 100], title="Опыт работы (годы)")
fig.show()

# ваш код здесь

median_salary = hh.groupby(['Пол', 'Образование', 'Город'], as_index=False)['ЗП (руб)'].median()
median_salary.rename(columns={'ЗП (руб)': 'Медианная ЗП'}, inplace=True)
fig = px.sunburst(median_salary, path=['Пол', 'Образование', 'Город'], values='Медианная ЗП',
                  title='Круговая диаграмма по полу, образованию и городу (медианная ЗП)',
                  width=800, height=800)
fig.show()

corr = hh[['ЗП (руб)', 'Возраст', 'Опыт работы (месяц)']].corr()
plt.figure(figsize=(10, 8))
sns.heatmap(corr, annot=True, fmt=".2f", cmap='coolwarm', square=True)
plt.title('Коррелограмма')

Text(0.5, 1.0, 'Коррелограмма')

# ваш код здесь
dupl = hh[hh.duplicated(subset=hh.columns)]
data = hh.drop_duplicates()
display(dupl.shape[0])

155

# ваш код здесь
null_data = hh.isnull().sum()
display(null_data[null_data > 0])

Опыт работы                        168
Последнее/нынешнее место работы      1
Последняя/нынешняя должность         2
Опыт работы (месяц)                170
Опыт работы (годы)                 170
dtype: int64

# ваш код здесь
hh = hh.dropna(subset=['Последнее/нынешнее место работы', 'Последняя/нынешняя должность'])
hh['Опыт работы (месяц)'] = hh['Опыт работы (месяц)'].fillna(hh['Опыт работы (месяц)'].median())

# ваш код здесь
outliers = hh[(hh['ЗП (руб)'] > 1e6) | (hh['ЗП (руб)'] < 1e3)]
hh = hh.drop(outliers.index)

# ваш код здесь
outliers = hh[hh['Опыт работы (месяц)']/12 >= hh['Возраст']]
hh = hh.drop(outliers.index)

# ваш код здесь
fig, ax = plt.subplots(1, 1, figsize=(8, 4))
log_age = np.log(hh['Возраст'] + 1)
histplot = sns.histplot(log_age, bins=30, ax=ax)
histplot.axvline(log_age.mean(), color='k', lw=2)
histplot.axvline(log_age.mean()+ 4 *log_age.std(), color='k', ls='--', lw=2)
histplot.axvline(log_age.mean()- 3 *log_age.std(), color='k', ls='--', lw=2)
histplot.set_title('Log Age Distribution');

def outliers_z_score_mod(hh, feature, left=3, right=3, log_scale=False):
    if log_scale:
        x = np.log(hh[feature]+1)
    else:
        x = hh[feature]
    mu = x.mean()
    sigma = x.std()
    lower_bound = mu - left * sigma
    upper_bound = mu + right * sigma
    outliers = hh[(x < lower_bound) | (x > upper_bound)]
    cleaned = hh[(x >= lower_bound) & (x <= upper_bound)]
    return outliers, cleaned
outliers, cleaned_data = outliers_z_score_mod(hh, 'Возраст', left=3,  right=4, log_scale=True)
display(outliers)
display(list(outliers["Возраст"]))

[15, 15, 100]

	Пол, возраст	ЗП	Ищет работу на должность:	Город, переезд, командировки	Занятость	График	Опыт работы	Последнее/нынешнее место работы	Последняя/нынешняя должность	Образование и ВУЗ	Обновление резюме	Авто
0	Мужчина , 39 лет , родился 27 ноября 1979	29000 руб.	Системный администратор	Советск (Калининградская область) , не готов к...	частичная занятость, проектная работа, полная ...	гибкий график, полный день, сменный график, ва...	Опыт работы 16 лет 10 месяцев Август 2010 — п...	МАОУ "СОШ № 1 г.Немана"	Системный администратор	Неоконченное высшее образование 2000 Балтийск...	16.04.2019 15:59	Имеется собственный автомобиль
1	Мужчина , 60 лет , родился 20 марта 1959	40000 руб.	Технический писатель	Королев , не готов к переезду , готов к редким...	частичная занятость, проектная работа, полная ...	гибкий график, полный день, сменный график, уд...	Опыт работы 19 лет 5 месяцев Январь 2000 — по...	Временный трудовой коллектив	Менеджер проекта, Аналитик, Технический писатель	Высшее образование 1981 Военно-космическая ак...	12.04.2019 08:42	Не указано
2	Женщина , 36 лет , родилась 12 августа 1982	20000 руб.	Оператор	Тверь , не готова к переезду , не готова к ком...	полная занятость	полный день	Опыт работы 10 лет 3 месяца Октябрь 2004 — Де...	ПАО Сбербанк	Кассир-операционист	Среднее специальное образование 2002 Профессио...	16.04.2019 08:35	Не указано
3	Мужчина , 38 лет , родился 25 июня 1980	100000 руб.	Веб-разработчик (HTML / CSS / JS / PHP / базы ...	Саратов , не готов к переезду , готов к редким...	частичная занятость, проектная работа, полная ...	гибкий график, удаленная работа	Опыт работы 18 лет 9 месяцев Август 2017 — Ап...	OpenSoft	Инженер-программист	Высшее образование 2002 Саратовский государст...	08.04.2019 14:23	Не указано
4	Женщина , 26 лет , родилась 3 марта 1993	140000 руб.	Региональный менеджер по продажам	Москва , не готова к переезду , готова к коман...	полная занятость	полный день	Опыт работы 5 лет 7 месяцев Региональный мене...	Мармелад	Менеджер по продажам	Высшее образование 2015 Кгу Психологии и педаг...	22.04.2019 10:32	Не указано
5	Мужчина , 29 лет , родился 5 октября 1989	25000 руб.	Технический специалист	Старый Оскол , не готов к переезду , не готов ...	полная занятость	полный день, сменный график	Опыт работы 9 лет 9 месяцев Технический специ...	Комбинат хлебопродуктов Старооскольский	Слесарь КИПиА	Неоконченное высшее образование 2013 Воронежс...	22.04.2019 15:59	Имеется собственный автомобиль
6	Мужчина , 46 лет , родился 19 сентября 1972	250000 руб.	Руководитель ИТ-проектов	Москва , не готов к переезду , готов к редким ...	полная занятость	полный день	Опыт работы 22 года 9 месяцев Руководитель ИТ...	СИБИНТЕК, ООО ИК	Менеджер (Руководитель ИТ-проектов)	Высшее образование 2008 ФГОУ ВПО «Уральская ак...	25.04.2019 22:48	Не указано
7	Мужчина , 29 лет , родился 9 июля 1989	70000 руб.	Инженер АСУ ТП	Москва , м. Бульвар Рокоссовского , готов к п...	полная занятость	полный день	Опыт работы 3 года 11 месяцев Декабрь 2016 — ...	ФМ-инжиниринг	Инженер АСУ ТП	Высшее образование 2014 Белорусская Государств...	07.05.2019 17:59	Не указано
8	Мужчина , 29 лет , родился 11 июля 1989	65000 руб.	Ревизор	Москва , м. Шоссе Энтузиастов , готов к перее...	полная занятость	полный день	Опыт работы 8 лет 9 месяцев Декабрь 2016 — по...	ФГБУ РСВО	Старший специалист	Неоконченное высшее образование 2020 Московск...	11.04.2019 11:08	Имеется собственный автомобиль
9	Мужчина , 34 года , родился 26 мая 1984	55000 руб.	Менеджер по работе с клиентами, Pre-sale менед...	Москва , м. Теплый Стан , не готов к переезду...	полная занятость	полный день	Опыт работы 16 лет 6 месяцев Июнь 2018 — по н...	ООО "Мираском"	Специалист отдела ИТ	Высшее образование 2007 Московский государств...	19.04.2019 11:39	Имеется собственный автомобиль

Проект: Анализ резюме из HeadHunter

Исследование структуры данных¶

Преобразование данных¶

Исследование зависимостей в данных¶

Ваши выводы по графику здесь¶

Ваши выводы здесь¶

Ваши выводы здесь¶

Ваши выводы здесь¶

Ваши выводы здесь¶

Ваши выводы здесь¶

Ваши выводы здесь¶

Ваши выводы здесь¶

Ваши выводы здесь¶

Очистка данных¶

Ваш коммментарий здесь¶

	Пол, возраст	ЗП	Ищет работу на должность:	Город, переезд, командировки	Занятость	График	Опыт работы	Последнее/нынешнее место работы	Последняя/нынешняя должность	Образование и ВУЗ	Обновление резюме	Авто
count	44744	44744	44744	44744	44744	44744	44576	44743	44742	44744	44744	44744
unique	16003	690	14929	10063	38	47	44413	30214	16927	40148	18838	2
top	Мужчина , 32 года , родился 17 сентября 1986	50000 руб.	Системный администратор	Москва , не готов к переезду , не готов к кома...	полная занятость	полный день	Опыт работы 10 лет 8 месяцев Апрель 2018 — по...	Индивидуальное предпринимательство / частная п...	Системный администратор	Высшее образование 1987 Военный инженерный Кра...	07.05.2019 09:50	Не указано
freq	18	4064	3099	1261	30026	22727	3	935	2062	4	25	32268

	Пол	Возраст
0	М	39
1	М	60
2	Ж	36
3	М	38
4	Ж	26
...	...	...
44739	М	30
44740	М	27
44741	Ж	48
44742	М	24
44743	М	38

	Город	Готовность к переезду	Готовность к командировкам
0	другие	False	False
1	другие	False	True
2	другие	False	False
3	другие	False	True
4	Москва	False	True
...	...	...	...
44739	другие	True	True
44740	другие	True	True
44741	город миллионник	True	True
44742	другие	False	False
44743	Москва	False	False

	Ищет работу на должность:	Опыт работы	Последнее/нынешнее место работы	Последняя/нынешняя должность	Обновление резюме	Авто	Образование	Пол	Возраст	Опыт работы (месяц)	...	частичная занятость	сменный график	проектная работа	гибкий график	волонтерство	удаленная работа	стажировка	вахтовый метод	ЗП (руб)	Опыт работы (годы)
31137	Менеджер по работе с клиентами	Опыт работы 2 месяца Июнь 2018 — Июль 2018 2...	ООО "ФёрстКэшКомпани"	Менеджер по работе с клиентами	2019-04-06	Не указано	среднее	М	15	2.0	...	True	True	False	True	False	True	False	False	10000.0	0.166667
32950	Тестировщик игр	Опыт работы 3 месяца Март 2019 — по настоящее...	OOO ЖМЫХ	Тестировщик ПО	2019-04-09	Не указано	среднее специальное	М	15	3.0	...	False	False	False	False	False	False	False	False	2000.0	0.250000
33654	Frontend-разработчик	Опыт работы 2 года 6 месяцев Февраль 2019 — п...	Freelance	Frontend-разработчик	2019-04-19	Не указано	среднее специальное	М	100	30.0	...	True	False	True	True	False	True	True	False	60000.0	2.500000